Gauss-sigmoid neural network

Recently RBF(Radial Basis Function)-based networks have been widely used because they can learn a strong non-linear function faster and more easily by their local learning characteristics. However, it has no hidden units that can represent some global information. Accordingly even if the knowledge obtained through the previous sets of learning is utilized effectively in the present learning, the network has to learn from scratch. Then the present paper proposes a Gauss-Sigmoid neural network for learning with continuous input signals. The input signals are put into a RBF network, and then the outputs of RBF network are put into a sigmoid-based multi-layered neural network. After learning based on back-propagation, the localized signals by the RBF network are integrated and an appropriate space for the given learning is reconstructed in the hidden layer of the sigmoid-based neural network. The advantage was examined by the simulation of a supervised learning task that requires a discontinuous mapping. It is also confirmed that the Gauss-Sigmoid neural network shows better performance than sigmoid-based neural networks in the reinforcement learning task in which instability was shown when the sigmoid-based neural network was utilized. KeywordsRBF ネットワーク, Gaussian soft-max ネットワーク, sigmoid-based ニューラルネット, Gauss-sigmoid ニューラルネット, 局所化, 内部表現. 1. はじめに 近年、非線形関数近似を行う際に、シグモイド型ニュ ーラルネット(NN)に代わり、Fig. 1 (a)のような RBF (Radial Basis Function) ネットワークや、RBF ネットの汎化能力 を改善した Gaussian soft-max ネットワークが使われる場 合が多い。情報の局所化を行うガウシアン(RBF)ベースの ネットワークは、シグモイド型 NN と比較し、学習が速 い、複雑な関数を容易に近似できるということがその理 由としてあげられる。 強化学習の分野においても、Boyanらは、Hill-car問題、 2-Dpuddle world 問題などを例に、シグモイド型の NN を TD 型の強化学習に用いると学習が不安定になると報告し ている[1]。それに対し Sutton は、CMAC を用いると学習 がうまくできることを示している[2]。また、Gordon は、 k-nearest-neighbor のように、いくつかの代表点での値や 定数の間の重み付き平均という形の関数近似の場合には 強化学習が安定であり、線形近似やシグモイド NN では 不安定になる場合があることを示している[3]。しかし、 これらの情報を局所化するアプローチは、テーブルルッ クアップに近く、さまざまな欠点も持ち合わせている。 本稿では、RBF ベースのネットワークとシグモイド型 NN を比較し、利点と欠点を整理するとともに、両者の利 点を引き出すために、Fig. 1(b)のように、ガウシアンを通 して局所化した信号をシグモイド型 NN に入力して処理 するGauss-Sigmoidニューラルネットワークを提案する[4]。 そして、その有効性を教師あり学習のシミュレーション を通して示すとともに、Boyan らが指摘した強化学習の 例題を Gauss-Sigmoid NN を使って解くことによって、連 続値入力を直接シグモイド型 NN に入力する場合と比較 して、より良い解が得られることを示す[5]。 2. RBF(Gauss)-basedネット対シグモイド型 NN 2.1 RBFネットと Gaussian soft-maxネット 最初に、RBF ネットと汎化能力を改善した Gaussian soft-max ネットを紹介する。RBF ネットでは、ガウシア ン g(x)を用いており、ネットワークの出力 oは、 o w g i i i n = + = ∑ ( ) x θ